第 9 卷 第 3 期 
2017 年 6 月 


土木 建筑 


总 工程 信息 技术 


Journal of Information Technology in Civil Engineering and Architecture (_NINAX IIV 1 EF | 


Vol.9 No.3 
| 二 Jun. 2017 


J/ 


混合 现实 技术 在 建筑 工程 中 的 应 用 研究 


邵 光 通 


何 兵 初 毅 


(上 海宝 冶 集团 有 限 公司 , 上 海 ”200941) 


【 摘 要 】 混 合 现实 技术 能 够 将 虚拟 物体 与 现实 实体 相互 融合 ,该 技术 应 用 于 建筑 工程 领域 为 设计 师 提供 了 全 新 
的 方案 演示 方式 ,本 文 从 需求 出 发 ,探讨 混合 现实 如 何 应 用 于 建筑 工程 领域 ; 通过 开发 测试 ,进行 了 建筑 工程 大 空 
间 下 混合 现实 的 关键 技术 研究 ,为 混合 现实 技术 的 实际 应 用 提供 了 需求 和 技术 解决 方案 。 
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J 混合 合 现实 ( Mixed Reality ,简称 MR) 是 当前 计算 

机 研究 的 热门 领域 , 人、 计算 机 .实体 环境 结合 在 一 
起 构成 了 混合 现实 的 基础 , 它 融 合 了 计算 机 的 环境 
感知 人 能 力 , 人 与 计算 机 的 交互 能 力 ,并 保留 人 与 环 
境 的 传统 现实 。 国 内 外 多 位 学 者 进行 了 混合 现实 
技术 的 研究 : Milgram P' 等 首次 阐明 了 MR 的 概 
企 您 ”认为 增 强 现 实 ( Augment Reality ) 和 虚拟 现实 
(全 ma Reality ) 均 是 混合 现实 的 子 集 ; 黄 进 1 对 泥 
合 吏 实 课 题 的 人 机 交互 方式 做 了 综述 ,指出 了 与 混 
合 驶 实 交互 设计 相关 的 原则 与 方法 ; 陈 保全 "描述 
了 混合 现实 中 的 虚实 融合 与 人 机 智能 交融 的 场景 ， 
指出 未 来 混合 现实 中 能 够 基于 大 数据 引入 机 器 智 
能 ; 汤 卓 慧 “ 探 讨 了 当前 MR 系统 的 组 成 原理 并 分 
析 了 在 轨道 交通 行业 中 的 应 用 点 ; Allen J 介绍 了 
一 种 协作 空间 远程 交互 系统 的 实现 流程 ,在 该 系统 
中 可 以 看 到 远程 交互 对 象 的 全 息影 像 ,仿佛 就 在 眼 
前 ,该 技术 在 微软 的 Holoportation 研发 项 目 中 有 较 
好 体现 ; Hassanin M's 研究 了 一 种 面向 云端 的 混合 
现实 学 习 系 统 , 描 述 了 学 习 场 景 并 对 该 系统 做 了 有 
当前 工程 方案 演示 技术 出 现 了 多 元 化 :文字 描 

述 、 二 维 图 纸 、 效 果 图 片 . 动 画 视频 、 漫 游 模 型 等 , 生 
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动 形象 的 演示 技术 逐渐 在 建设 工程 招 投标 中 得 到 
广泛 的 推广 。 采 用 混合 现实 技术 将 会 精准 、 有 效 的 
传达 投标 人 的 投标 方案 ,减轻 理解 难度 并 减少 理解 
误差 ,进而 提高 中 标 率 。 本 文 将 探讨 混合 现实 技术 
在 建设 工程 中 的 应 用 ,为 设计 意图 和 施工 工艺 的 有 
效 表达 提供 参考 。 


2 研究 思路 


2.1 混合 现实 头 显 设备 简介 

混合 现实 按照 与 真实 环境 和 数字 环境 的 侧重 
点 不 同 可 分 为 虚拟 现实 和 增强 现实 ,如 图 1 所 示 。 
VR 设备 更 侧重 于 数字 现实 ,在 虚拟 世界 里 实现 用 
户 的 沉浸 式 体验 ,代表 产品 主要 有 HTC Vive、Oculus 
Rift 和 SonyPlaystationVR; AR 设备 较 侧 重 于 自然 现 
实 , 通 党 在 现实 世界 里 附加 文字 、 图 片 、 模 型 等 信 
息 ,代表 产品 主要 有 Google Class, 基于 Tango 的 联 
想 Phab 手机 也 可 以 实现 AR 体验 ,并 具有 运动 跟 
踪 、 区域 识 别 和 深度 知觉 三 大 核心 技术 。 

2017 年 5 月 ,微软 公司 正式 发 售 了 MR 全 息 眼 
镜 Hololens。 该 设备 支持 目光 .手势 语音、 键盘 和 
手柄 的 人 机 交互 输入 ,可 以 实时 空间 建 模 、 实 时 空 
间 追 踪 、 播 放空 间 声 音 。Hololens 相对 于 其 他 设备 
的 优势 在 于 其 本 身 就 是 一 台 计 算 机 ,集成 了 操作 系 
统 , 具 有 环境 感知 相机 和 深度 摄像 头 , 大 大 增强 了 


) , 男 ,硕士 ,主要 从 事 BIM 软件 的 开发 管理 工作 。 
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环境 感知 能 力 。 除 此 之 外 ,微软 为 HoloLens 提供 了 


便捷 的 开发 环境 与 部 署 方式 ,本 文中 ,我 们 采用 Ho- 


loLens 作为 混合 现实 硬件 设备 。 


混合 现实 
1 个 
增强 现实 虚拟 现实 


2.2 工程 应 用 需求 分 析 

混合 现实 作为 一 项 全 新 的 表达 方式 ,在 工程 中 
最 直接 .最 受 期 待 的 应 用 当 属 方案 演示 。 在 工程 投 
标 过 程 中 ,业主 与 投标 人 同时 佩戴 全 息 眼镜 ,投标 
人 将 建筑 的 设计 方案 预先 存储 在 眼镜 中 ， 在 协同 的 
形 济 下 多 方 同时 浏览 建筑 模型; 施工 单位 在 管线 施 
二 将 管线 布置 的 多 套 方案 集成 在 眼镜 中 ,业主 
可 以 在 管线 模型 中 漫游 ， 迅速 确定 最 终 方 案 。 混 合 
琉 实 的 全 息影 像 也 可 以 使 不 同 构件 按 次 序 出 现 , 实 
现 对 工程 施工 过 程 的 模拟 。 在 施工 管理 过 程 中 ,可 
以 基于 构件 对 工程 项 目 进行 注释 ,将 施工 过 程 的 质 
匡 问 题 、 安全 问题 ,设计 变更 等 信息 注释 在 构件 附 
过 相关 人 员 佩戴 眼镜 靠近 时 可 以 发 现 标注 的 问 
是 “由 于 隐蔽 工程 的 特殊 性 ,施工 后 一 ee 
车 看 ， 为 隐蔽 实体 的 理解 增加 了 负担 ,可 以 通 
HSLens 可 以 实现 查看 隐蔽 工程 的 功能 。 


3- 二 技术 实现 


3. 了 方案 演示 

模型 演示 是 HoloLens 应 用 的 基础 功能 ,对 于 三 
维 工程 项 目 , 我 们 需要 实现 的 模型 操作 主要 包括 移 
动 旋转、 缩放 等 。 随 着 BIM 技术 的 大 力 推广 ,多 数 
建筑 工程 项 目 已 经 提前 创建 好 Revit 模型 ,可 以 将 
Revit 模型 经 FBX 中 间 格 式 导 出 到 3dsmax, 在 
3dsmax 软件 中 修改 材质 和 贴图 后 再 通过 FBX 中 间 
格式 导出 到 Unity 中 ,最 后 编译 到 HoloLens 中 实现 
三 维 模 型 的 查看 。 混 合 现实 中 的 方案 演示 首先 要 
考虑 的 是 大 空间 模型 的 定位 问题 :创建 的 虚拟 模型 
如 何 和 实体 构件 匹配 。 

(1) 可 以 通过 图 像 识 别 的 方式 对 模型 定位 ,在 
真实 空间 预先 粘贴 一 张 图 像 ,将 该 图 像 存储 在 虚拟 
空间 中 ,通过 Vuforia 开发 平台 识别 并 调整 模型 与 图 
像 的 相对 位 置 实现 定位 ; 


(2) 可 以 通过 HoloLens 自身 的 定位 功能 加 微调 

的 方式 进行 定位 ， 通过 头 部 的 转向 确定 模型 方向 ， 
通过 目光 点 控制 模型 的 位 置 ,对 于 大 空间 来 说 这 种 

定位 往往 不 能 一 次 确定 ,需要 辅助 模型 的 微调 命令 
实现 定位 功能 。 

MR 技术 能 a sad ide 
模型 演示 。 有 和 较 多 单位 设计 装配 式 建筑 时 经 
用 爆炸 图 ,将 原本 安装 在 一 1 
查看 ,这 种 方式 能 够 传达 建筑 中 采用 了 哪 种 构件 ， 
有 多 少 构件 ,但 仍然 是 二 维 图 片 形 式 。 可 以 通过 
HoloLens 的 开发 实现 爆炸 模型 演示 ,通过 语音 控制 
爆炸 模型 的 拆 解 与 装配 。 
3.2 施工 过 程 演示 与 属性 查看 

施工 过 程 演示 需要 构件 的 施工 日 期 信息 ,在 
Revit 模型 中 添加 共享 参数 信息 可 以 添加 该 施工 日 
期 ,如 图 2 所 示 。 

通过 Revit 二 次 开发 可 以 导出 属性 (ID 和 时 间 ) 信 
息 ,在 Unity 中 为 构件 设置 ID 编号 ,输入 从 Revit 中 导 
出 的 ID 编号 ,程序 自动 调 取 对 应 的 时 间 等 属性 信息 。 


注释 
阶段 化 
创建 的 阶段 -新 构造 
拆除 的 阶段 无 
其 他 
是 否 问题 构件 ? | 
施工 日 期 


图 2 构件 中 添加 日 期 信息 


| Revit 模 型 | 


| 属性 信息 文件 | 
构件 匹配 


3 构件 时 间 属 性 的 导出 与 匹配 


| FBX 模 型 | 


Revit 中 的 构件 ID 和 时 间 属 性 导出 后 ,就 可 以 
在 Unity 构件 上 定义 Public 变量 实现 构件 与 属性 的 
索引 ,其 中 ,时 间 属 性 实现 Unity 中 构件 呈现 的 先后 
循序 ,其 他 属性 允许 用 户 在 施工 现场 点 击 相应 构件 
查看 。 
3.3 步 进 式 加 载 


由 于 硬件 条 件 的 限制 ,混合 现实 技术 如 今 主要 
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应 用 于 小 空间 的 演示 ,将 小 尺寸 的 工业 设计 方案 放 
在 地 板 上 供 多 人 查看 。 大 空间 游戏 应 用 如 Robo- 
raid, 虽 然 扫 描 了 用 户 所 在 的 整个 房间 ,也 仅仅 出 现 
少量 的 虚拟 物体 ,同时 出 现 模型 “漂移 ”现象 。 建 筑 
工程 现场 的 混合 现实 应 用 属于 大 空间 的 应 用 。 随 
着 BIM 技术 的 推广 ,工程 建设 项 目 多 存在 Revit 创 
建 的 BIM 模型 ,该 模型 通过 FBX 格式 导入 到 Unity 
后 体 量 大 、 面 数 多 ,需要 通过 拆 解 模型 的 方式 分 步 
加 载 。 可 借鉴 游戏 地 图 动态 加 载 方 式 ,将 二 维 地 图 
更 改 为 三 维 离散 模型 的 加 载 。 建 筑 工程 模型 空间 
一 般 通 过 楼 层 分 割 ,在 步 进 式 加 载 方 案 下 也 通过 楼 
层 来 分 割 模型 。 


人 移动 方向 


GN 图 4 ， 步 进 式 加 载 原理 


-| 


[一 除了 解决 大 模型 加 载 的 问题 , 步 进 式 加 载 的 另 
区 优势 是 实现 多 步 定 位 ,解决 模型 “漂移 " 现象。 
模 再 “漂移 "的 程度 由 用 户 运动 路 线 上 推移 产生 的 
累计 误差 所 决定 ,用 户 运 动 路 线 越 长 ,产生 的 模型 
漂 区 越 严 重 。 在 一 次 测试 中 ,从 起 点 绕 建筑 空间 环 
绕 喇 周 回 到 起 点 ,路 径 长 约 100m, 所 产生 的 漂移 误 
差 的 80cm。 在 不 同房 间 里 ,设置 不 同 的 定位 点 , 通 
过 针 描 预 设 图 片 将 模型 与 工程 实体 进行 多 次 自动 
定位 ,解决 了 以 上 问题 。 

3.4 多 机 互联 

混合 现实 技术 属于 计算 机 领域 的 新 技术 ,硬件 
设备 价格 较 高 ,目前 市 场 普 及 率 较 低 。 在 传达 设计 
师 的 设计 创意 时 ,如 果 不 能 实现 多 机 互联 ,需要 用 
户 提前 学 会 眼镜 佩戴 方式 ,操作 手势 ,语音 命令 等 ， 
不 能 有 效 直 接地 传达 设计 意图 。 

可 以 将 局 域 网 下 的 多 台 MR 设备 联机 ,在 协同 
状态 下 操作 和 查看 模型 。 当 前 主流 VR 设备 供用 户 
漫游 并 不 产生 漂移 的 区 域 范围 约 为 5m 正方 形 , 微 
软 HoloLens 为 用 户 在 5m 以 外 区 域 设备 追踪 提供 了 
新 技术 - 空间 销 点 。HoloLens 在 扫描 实体 空间 时 创 
建 多 个 空间 锚 点 , 当 设 备 移动 时 , 锚 点 做 出 相应 变 
化 进行 准确 调整 ,虚拟 模型 的 位 置 与 锚 点 相对 位 置 
保持 固定 ,保证 了 远 距离 的 头 显 设备 追踪 精度 。 通 


过 设置 服务 器 ,将 一 台 HoloLens 扫描 出 的 销 点 传 给 
男 一 台 后 ,两 台 HoloLens 具有 相同 的 锚 点 即 可 实现 
多 机 互联 ,在 大 空间 内 多 人 漫游 操作。 


车 宝 冶 集 团 展示 厅 MR 演示 项 目的 开发 实践 
中 ,对 混合 现实 技术 在 建筑 工程 中 的 应 用 进行 了 一 
些 思考 ,开发 初期 进行 了 较 多 技术 测试 ,得 出 一 些 
结论 如 下 : 

(1) 混 合 现实 技术 提供 的 虚拟 与 实体 交互 技术 
非常 有 利于 方案 演示 ,设计 师 能 够 有 效 传达 自己 的 
设计 创意 ,客户 所 见 即 所 得 ,多 机 互联 下 的 演示 省 
去 了 客户 学 习 设备 操作 的 环节 ,使 演示 更 直接 ; 

(2) 目前 MR 设备 HoloLens 尚 存 在 一 些 硬 件 壁 
至, 内 存 不 足 、 大 模型 显示 出 现 延 迟 ,通过 分 解 模 型 
后 步 进 式 载 人 来 实现 模型 显示 ;硬件 设备 尚 有 一 些 
难以 解决 的 问题 ,如 视 场 角度 (40°) 过 小 ,导致 用 户 
的 沉浸 感 不 足 ; 基于 计算 机 视觉 的 定位 追踪 方式 存 
在 一 定 的 误差 。 

MR 技术 在 建筑 工程 领域 的 研究 属于 全 新 课 
题 , 可 以 结合 其 他 设备 继续 研究 ,例如 测量 机 器 人 、 
GPS 等 ,充分 利用 各 设备 提供 的 精准 数据 为 工程 项 
目 实施 提供 支持 。 
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Study on Mixed Reality Application in Construction Engineering 


Shao Zhaotong, He Bing, Chu Yi 


(Shanghai Baoye Group Corp., Ltd., Shanghai 200941, China) 


Abstract: Mixed reality can combine virtual world and real world, which provides designers a whole new way 
of demonstration once applied to construction engineering. Starting from demand, this paper discusses how mixed 
reality can be applied to field of building engineering; Through massive testing, key technologies of mixed reality in 
large space of construction engineering are studied. This research provides demand and technical solutions for the 
practical application of mixed reality technology in construction engineering. 
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S 第 十 九 届 中 国 科 协 年 会 在 长 春 隆重 开幕 


Ca 年 6 月 24 日 ,以 "创新 驱动 ` 全 面 振兴 ”为 主题 的 第 十 九 届 阐 学 院 院 长 贺 克 斌 院士 ,国际 药 用 菌 学 会 理事 长 .中国 菌 类 学 会 名 淮 
中 国 科 协 年 会 在 北国 春城 吉林 省 长 春 市 国际 会 议 中 心 隆重 开幕 。 中 里 事 长 李 玉 院 士 分 别 作 了 《中 国人 工 智能 2. 0》《 贯 彻 落实 中 医药 
共 中 央 政 治 局 委员 国家 副 主席 李源潮 出 席 并 讲话 。 全 国政 协 副 主 ”法 ,走出 中 医药 创新 之 路 》《 我 国 中 长 期 细 颗 粒 物 污 染 防治 :排放 与 
关中 国 科 协 主席 科技 部 部 长 ,本 届 年 会 主席 万 钢 致 辞 ,吉林 省 委 ”观测 研究 的 启示 》《 走 有 中 国 特色 的 菇 业 发 展 道路 ,实现 食用 菌 产 业 
所 省 人 大 常委 会 主任 巴 音 朝 鲁 致 欢迎 辞 。 开 幕 式 由 中 国 科 协 党 的 强国 梦 》 为 主题 的 特 邀 报告 。 


fi .常务 副 主席 ,书记 处 第 一 书记 尚勇 主持 。 吉 林 省 委 副 书 记 、 本 届 分 为 "会 . 展 赛 . 服 "四 个 板块 , 共 2 500 余人 参加 。6 月 25 
省 长 刘 国 中 及 国家 有 关 部 委 领 导 同 志 ,吉林 省 委 、 省 政府 有 关 领 导 同 日 举行 了 吉林 省 党 政 领 导 与 院士 专家 座谈 会 。6 月 23 日 ~ 26 日 举 


志 前 放 军 有 关 方面 负责 同志 ,中 国 科学 院 院 士 .中 国 工程 院 院 士 等 行 了 前 沿 交叉 学 术 交 流 会 .吉林 省 科技 创新 成 果 展 示 与 对 接 会 .先进 
著名 到 家、 学 者 ,中 国 科 协 荣 委 、 常 委 , 来 自 科研 .生产 教学 第 一 线 的 。 ”材料 创新 展览 会 海外 人 才 创 新 创业 项 目 大 赛 、 创 新 驱动 助力 老 工业 
站 技 卫 作者 ,新 闻 界 朋 友和 国际 友人 ,港澳 和 欧美 .日 本 等 21 个 国家 ”基地 行动 ,中国 科 协 主 席 与 吉林 大 学 生 见 面 会 ,高端 智库 咨询 服务 行 


此 区 的 专家 \ 学 者 和 科技 组 织 代表 出 席 开 幕 式 。 动 ,科普 中 国 服务 吉林 行动 , 求 是 杰出 青年 奖 获奖 者 座谈 会 .中 国 科 
.二 未 届 年 会 是 贯彻 习近平 总 书记 关于 科技 创新 系列 重要 讲话 精 ， 协 海 智 计划 联席 会 议 等 活动 。 
神秘 实 ( 科 协 系统 深化 改革 实施 方案 ) 的 一 次 科技 盛会 ,也 是 全 国 科 本 届 科 协 年 会 学 术 交 流 工作 紧 紧 围 绕 学 科 发 展 中 的 前 沿 交 又 问 


技 办 各 接 党 的 十 九 大 胜利 召开 的 一 次 重要 会 议 。 本 届 年 会 主题 为 ” 题 .吉林 省 经 济 社会 发 展 重点 关注 的 科学 问题 进行 交流 和 探头 , 共 设 
“创新 驱动 ”全 面 振兴 ” ,由 中 国 科 协 和 吉林 省 人 民政 府 共同 主办 。 12 个 学 术 交 Ts 其 中 生命 科学 学 会 联合 体 、 军 民 融 合 学 会 联合 
为 贯彻 落实 习近平 总 书记 重要 批示 精神 ,在 科技 界 树立 创新 争 。” 体 、 清 洁 能 源 学 会 联合 体 \ 信 息 科技 学 会 联合 体 、 知 能 制造 学 会 联合 体 
先 的 时 代 楷 模 ,经 中 国 科 协 、 科 技 部 研究 ,决定 妃 授 黄 大 年 同志 全 国 。” 等 5 家 合体 首次 在 年 会 上 集体 亮相 ,各 承办 个 分 会 场 , 12 个 分 会 
杰出 科学 家 的 荣誉 称号 。 在 此 次 年 会 开幕 式 上 , 黄 大 年 同志 生前 工 。 场 参与 学 会 共计 57 家 。 邀 请 近 200 位 两 院 院士 ` 国 医大 师 与 会 交流 。 

作 单 位 代表 .吉林 大 学 地 球 探 测 科学 与 技术 学 院 党 委 书 记 黄 忠 民 从 中 国 图 学 学 会 作为 中 国 科 协 信息 科技 学 会 联合 体 成 员 ,出 席 了 
李源潮 手中 郑重 接 过 “杰出 科学 家 ”证 书 。 本 届 科 协 年 会 ,并 参与 承办 了 6 月 25 Nt a 
开幕 式 上 ,中 eth 央 政 治 局 委员 .国家 副 主席 李源潮 为 王 日 东 等 ”分 会 场 一 一 信息 新 技术 ,东北 新 工业 ”论坛 。 本 次 论坛 由 中 国 科学 


10 位 第 20 届 中 国 科 协 求 是 杰出 青年 成 果 转 化 奖 获 得 者 颁奖 ,全 国政 院 长 春光 学 精密 机 械 与 物理 研究 所 四 中 国 图 学 学 会 主办 的 国家 
协 副 主席 .中 国 科 协 主席 、 科 技 部 部 长 .本 届 年 会 主席 万 钢 为 孙 江 生 ”一 级 期 刊 《土木 建筑 工程 信息 技术 》 推 荐 关于 企业 信息 化 发 展 、.BIM 
等 15 位 第 20 届 中 国 科 协 求 是 杰出 青年 实用 工程 奖 获得 者 颁奖 。 技术 人 研究 与 应 用 的 相关 优秀 论文 编撰 在 本 届 科 协 年 会 论文 集中 。 

前 不 久 , 吉 林 省 被 批准 为 中 国 科 协 创新 驱动 助力 工程 示范 试点 本 届 年 会 得 到 广大 科技 工作 者 的 积极 响应 ,参与 投稿 人 数 超过 2 


省 。 在 此 次 年 会 开幕 式 上 ,全 国政 协 副 主席 、 中 国 科 协 主席 、 科 技 部 。 300 人 ,经 同行 评议 , 共 录 用 学 术 论 文 683 篇 ,由 中 国 科 协 组 织 编辑 论 


部 长 .本 届 年 会 主席 万 钢 与 吉林 省 委 副 书记 、 省 长 刘 国 中 同志 为 * 创 文集。 

新 驱动 助力 工程 示范 试点 省 ”揭牌 。 与 会 专家 学 者 密切 围绕 年 会 主题 ,结合 吉林 省 相关 领域 的 关键 
开幕 式 结束 后 举行 了 大 会 特 邀 报告 会 ,报告 会 由 中 国 科 协 副 主 。 问题 深入 开展 交流 研讨 ,加 强 科技 供给 ,努力 服务 吉林 省 经 济 社会 发 

席 ,学 术 与 学 会 专 委 会 主任 李 静 海 院 士 主持 。 第 十 二 届 全 国政 协 常 et E 异 的 成 绩 迎 接 党 的 十 九 大 胜利 召开 。 

委 .中国 发 明 协 会 理事 长 潘 云 锥 院士 ,中 国 科 协 常委 、 Re (中 国 图 学 学 会 土木 工程 图 学 学 会 《土木 建筑 工程 信息 技术 》 

院 常 务 副 院 长 黄 璐 琦 院士 ,中国 环境 科学 学 会 副 理事 长 ,清华 大 学 编辑 部 报道 ) 


